离线政策优化可能会对许多现实世界的决策问题产生重大影响，因为在线学习在许多应用中可能是不可行的。重要性采样及其变体是离线策略评估中一种常用的估计器类型，此类估计器通常不需要关于价值函数或决策过程模型功能类的属性和代表性能力的假设。在本文中，我们确定了一种重要的过度拟合现象，以优化重要性加权收益，在这种情况下，学到的政策可以基本上避免在最初的状态空间的一部分中做出一致的决策。我们提出了一种算法，以避免通过新的每个国家 - 邻居标准化约束过度拟合，并提供对拟议算法的理论理由。我们还显示了以前尝试这种方法的局限性。我们在以医疗风格的模拟器为中测试算法，该模拟器是从真实医院收集的记录数据集和连续的控制任务。这些实验表明，与最先进的批处理学习算法相比，所提出的方法的过度拟合和更好的测试性能。

尽管强化学习（RL）对于不确定性下的顺序决策问题有效，但在风险或安全性是具有约束力约束的现实系统中，它仍然无法蓬勃发展。在本文中，我们将安全限制作为非零和游戏制定了RL问题。在用最大熵RL部署的同时，此配方会导致一个安全的对手引导的软角色批评框架，称为SAAC。在SAAC中，对手旨在打破安全约束，而RL代理的目标是在对手的策略下最大程度地提高约束价值功能。对代理的价值函数的安全限制仅表现为代理商和对手政策之间的排斥项。与以前的方法不同，SAAC可以解决不同的安全标准，例如安全探索，均值差异风险敏感性和类似CVAR的相干风险敏感性。我们说明了这些约束的对手的设计。然后，在每种变化中，我们都表明，除了学习解决任务外，代理人与对手的不安全行为不同。最后，对于具有挑战性的持续控制任务，我们证明SAAC可以实现更快的融合，提高效率和更少的失败以满足安全限制，而不是风险避免风险的分布RL和风险中性的软性参与者批判性算法。

Recent large-scale image generation models such as Stable Diffusion have exhibited an impressive ability to generate fairly realistic images starting from a very simple text prompt. Could such models render real images obsolete for training image prediction models? In this paper, we answer part of this provocative question by questioning the need for real images when training models for ImageNet classification. More precisely, provided only with the class names that have been used to build the dataset, we explore the ability of Stable Diffusion to generate synthetic clones of ImageNet and measure how useful they are for training classification models from scratch. We show that with minimal and class-agnostic prompt engineering those ImageNet clones we denote as ImageNet-SD are able to close a large part of the gap between models produced by synthetic images and models trained with real images for the several standard classification benchmarks that we consider in this study. More importantly, we show that models trained on synthetic images exhibit strong generalization properties and perform on par with models trained on real data.

Lipschitz regularized f-divergences are constructed by imposing a bound on the Lipschitz constant of the discriminator in the variational representation. They interpolate between the Wasserstein metric and f-divergences and provide a flexible family of loss functions for non-absolutely continuous (e.g. empirical) distributions, possibly with heavy tails. We construct Lipschitz regularized gradient flows on the space of probability measures based on these divergences. Examples of such gradient flows are Lipschitz regularized Fokker-Planck and porous medium partial differential equations (PDEs) for the Kullback-Leibler and alpha-divergences, respectively. The regularization corresponds to imposing a Courant-Friedrichs-Lewy numerical stability condition on the PDEs. For empirical measures, the Lipschitz regularization on gradient flows induces a numerically stable transporter/discriminator particle algorithm, where the generative particles are transported along the gradient of the discriminator. The gradient structure leads to a regularized Fisher information (particle kinetic energy) used to track the convergence of the algorithm. The Lipschitz regularized discriminator can be implemented via neural network spectral normalization and the particle algorithm generates approximate samples from possibly high-dimensional distributions known only from data. Notably, our particle algorithm can generate synthetic data even in small sample size regimes. A new data processing inequality for the regularized divergence allows us to combine our particle algorithm with representation learning, e.g. autoencoder architectures. The resulting algorithm yields markedly improved generative properties in terms of efficiency and quality of the synthetic samples. From a statistical mechanics perspective the encoding can be interpreted dynamically as learning a better mobility for the generative particles.

自我监督模型在机器学习（ML）中越来越普遍，因为它们减少了对昂贵标签数据的需求。由于它们在下游应用程序中的多功能性，它们越来越多地用作通过公共API暴露的服务。同时，由于它们输出的向量表示的高维度，这些编码器模型特别容易受到模型窃取攻击的影响。然而，编码器仍然没有防御：窃取攻击的现有缓解策略集中在监督学习上。我们介绍了一个新的数据集推理防御，该防御使用受害者编码器模型的私人培训集将其所有权归因于窃取的情况。直觉是，如果受害者从受害者那里窃取了编码器的培训数据，则在受害者的培训数据上，编码器的输出表示的对数可能比测试数据更高，但如果对其进行了独立培训，则不会。我们使用密度估计模型来计算该对数可能性。作为我们评估的一部分，我们还建议测量被盗编码器的保真度并量化盗窃检测的有效性，而无需涉及下游任务；相反，我们利用相互信息和距离测量值。我们在视觉领域中广泛的经验结果表明，数据集推断是捍卫自我监督模型免受模型窃取的有前途的方向。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

我们将后处理应用于音频事件分类模型的类概率分布输出，并采用强化学习来共同发现后处理堆栈的各个阶段的最佳参数，例如分类阈值和所使用的中间过滤算法的内核大小平滑模型预测。为了实现这一目标，我们定义了一个强化学习环境：1）状态是该模型为给定音频样本提供的类概率分布，2）操作是选择后处理的每个参数的候选最佳值堆栈，3）奖励基于我们旨在优化的分类准确度度量，即在我们的情况下，这是基于音频事件的宏F1得分。我们将我们的后处理应用于两个音频事件分类模型的类概率分布输出，这些模型已提交给Dcase Task4 2020挑战。我们发现，通过使用强化学习来发现应用于音频事件分类模型输出的后处理堆栈的最佳每级参数，我们可以改进基于音频事件的宏F1分数（使用的主要指标在DCASE挑战中，将音频事件分类精度比较4-5％，与使用手动调谐参数相同的后处理堆栈相比。

近年来，在生成的对抗网络（GAN）领域已取得了很大的进步，尤其是在基于样式的架构的出现，这些架构解决了许多关键的缺点 - 无论是在建模能力和网络可解释性方面。尽管有这些改进，但在卫星图像领域中采用这种方法并不简单。生成任务中使用的典型视觉数据集是良好的对准和注释的，并且具有有限的可变性。相比之下，卫星图像表现出很大的空间和光谱变异性，广泛的高频细节的存在，而注释卫星图像的繁琐本质会导致注释稀缺性 - 进一步激励了无监督学习的发展。从这个角度来看，我们介绍了第一个基于训练的样式和小波的GAN模型，该模型可以很容易地在各种环境和条件下综合了一系列逼真的卫星图像，同时还可以保留高频信息。此外，我们表明，通过分析网络的中间激活，人们可以发现许多可解释的语义方向，这些方向促进了卫星图像的指导综合，而无需使用任何形式的监督。通过一组定性和定量实验，我们证明了我们框架的功效，这是在适合下游任务（例如，数据增强），合成成像质量以及不看到数据集的概括能力方面的功效。

文本分类在许多真实世界的情况下可能很有用，为最终用户节省了很多时间。但是，构建自定义分类器通常需要编码技能和ML知识，这对许多潜在用户构成了重大障碍。为了提高此障碍，我们介绍了标签侦探，这是一种免费的开源系统，用于标记和创建文本分类器。该系统对于（a）是一个无代码系统是独一无二的分类器在几个小时内，（c）开发用于开发人员进行配置和扩展。通过开放采购标签侦探，我们希望建立一个用户和开发人员社区，以扩大NLP模型的利用率。